是否可以指导基础模型执行涉及法律推理的任务？我们认为，建立一个基准来回答这个问题将需要计算机科学与法律社区之间持续的合作努力。为此，这份简短的纸张有三个目的。首先，我们描述了IRAC-A框架法律学者如何用来区分不同类型的法律推理 - can指导基础模型的基础基准。其次，我们介绍了根据此框架构建的44个任务的种子集。我们讨论初始发现，并突出显示新任务的方向。最终，由开放科学运动引起的启发 - 我们呼吁法律和计算机科学社区通过贡献新任务来加入我们的努力。这项工作正在进行中，我们的进度可以在此处跟踪：https：//github.com/hazyresearch/legalbench。
translated by 谷歌翻译
大语言模型的兴起的一个关注点是它们可能造成重大伤害的潜力，尤其是在偏见，淫秽，版权和私人信息方面进行预处理。新兴的道德方法试图过滤预处理的材料，但是这种方法是临时的，未能考虑到上下文。我们提供了一种以法律为基础的过滤方法，该方法直接解决了过滤材料的权衡。首先，我们收集并提供了一堆法律，这是一个256GB（以及增长）的开源英语法律和行政数据数据集，涵盖法院意见，合同，行政规则和立法记录。对一堆法律进行预处理可能有助于解决有望改善司法接触的法律任务。其次，我们提炼政府已制定的法律规范将有毒或私人内容限制为可行的研究人员，并讨论我们的数据集如何反映这些规范。第三，我们展示了一堆法律如何为研究人员提供直接从数据中学习此类过滤规则的机会，从而为基于模型的处理提供了令人兴奋的新研究方向。
translated by 谷歌翻译
AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。
translated by 谷歌翻译
As predictive models are increasingly being employed to make consequential decisions, there is a growing emphasis on developing techniques that can provide algorithmic recourse to affected individuals. While such recourses can be immensely beneficial to affected individuals, potential adversaries could also exploit these recourses to compromise privacy. In this work, we make the first attempt at investigating if and how an adversary can leverage recourses to infer private information about the underlying model's training data. To this end, we propose a series of novel membership inference attacks which leverage algorithmic recourse. More specifically, we extend the prior literature on membership inference attacks to the recourse setting by leveraging the distances between data instances and their corresponding counterfactuals output by state-of-the-art recourse methods. Extensive experimentation with real world and synthetic datasets demonstrates significant privacy leakage through recourses. Our work establishes unintended privacy leakage as an important risk in the widespread adoption of recourse methods.
translated by 谷歌翻译
New technologies and the availability of geospatial data have drawn attention to spatio-temporal biases present in society. For example: the COVID-19 pandemic highlighted disparities in the availability of broadband service and its role in the digital divide; the environmental justice movement in the United States has raised awareness to health implications for minority populations stemming from historical redlining practices; and studies have found varying quality and coverage in the collection and sharing of open-source geospatial data. Despite the extensive literature on machine learning (ML) fairness, few algorithmic strategies have been proposed to mitigate such biases. In this paper we highlight the unique challenges for quantifying and addressing spatio-temporal biases, through the lens of use cases presented in the scientific literature and media. We envision a roadmap of ML strategies that need to be developed or adapted to quantify and overcome these challenges -- including transfer learning, active learning, and reinforcement learning techniques. Further, we discuss the potential role of ML in providing guidance to policy makers on issues related to spatial fairness.
translated by 谷歌翻译
“感应头”是注意力头，它实现了一种简单的算法来完成令牌序列，例如[a] [b] ... [a] - > [b]。在这项工作中，我们提供了一个假设的初步和间接证据，即诱导头可能构成大型大型变压器模型中所有“文本学习”中大多数的机制（即减少在增加代币指数时损失的损失）。我们发现，诱导头在与秘密学习能力突然急剧上的急剧上升的位置完全相同，这是训练损失的颠簸。我们提出了六种互补的证据，认为诱导头可能是任何大小的变压器模型中一般性内部学习的机理来源。对于仅关注的小型模型，我们提供了有力的因果证据。对于具有MLP的较大模型，我们提供相关证据。
translated by 谷歌翻译
我们生活的世界充满了技术，而每天都有无人机的进步和使用有效地增加。由于许多应用程序方案，在某些任务中，无人机容易受到外部干扰的影响，例如地面站的连通性丧失，安全任务，安全问题和与交货相关的任务。因此，根据情况，这可能会影响运营并导致无人机的安全着陆。因此，本文提出了一种在动态环境中安全着陆的启发式方法。这种方法的目的是检测安全的潜在降落区 - PLZ，并找出最适合降落的区域。最初，PLZ是通过通过Canny Edge算法处理图像来检测的，然后应用了直径估计值对于每个边缘最小的区域。比车辆间隙更高的斑点被标记为安全PLZ。在该方法的第二阶段中，计算了向PLZ移动的动态障碍的速度，并考虑到达到区域的时间。计算无人机的ETA并在无人机的下降期间，执行动态障碍物。在现实世界环境中测试的方法显示了现有工作的更好结果。
translated by 谷歌翻译
大型变压器模型实现了自然语言理解任务的最新状态，并越来越成为建模源代码的基线模型体系结构。通常，变压器在大型无监督的语料库中进行预训练，学习令牌表示和与通常可用的文本相关的转换，然后对特定的下游感兴趣的任务进行微调。虽然微调是一种尝试将模型调整为新领域的久经考验的方法（例如，在给定主题上提出问题，概括仍然是一个持续的挑战。在本文中，我们探索并评估了变形金刚的模型以进行个性化。在为Java方法生成单元测试的背景下，我们评估学习以使用多种个性化技术为特定的软件项目个性化。我们考虑三种关键方法：（i）自定义微调，这允许调整所有模型参数； （ii）轻巧的微调，它冻结了大多数模型的参数，可以单独调整令牌嵌入和SoftMax层或单独的最终层； （iii）前缀调整，该调谐使模型参数冻结，但优化了小型项目特定的前缀矢量。这些技术中的每一个都提供了总计算成本和预测性能的权衡，我们通过代码和特定任务指标，培训时间和总计算操作进行评估。我们比较了这些微调策略以生成代码，并讨论了各种部署方案中每个策略的潜在概括和成本益处。
translated by 谷歌翻译
大型语言模型已经证明了能够在自然语言和编程语言文本上进行条件和生成的能力。这样的模型打开了多语言代码生成的可能性：代码生成模型是否可以将知识从一种语言推广到另一种语言？尽管当代代码生成模型可以生成语义上正确的Python代码，但对它们使用其他语言的能力知之甚少。我们通过提出Multipl-E来促进该主题的探索，这是自然语言到代码生成的第一个多语言平行基准。 Multipl-E扩展了HumaneVal基准（Chen等，2021），以支持另外18种编程语言，涵盖了一系列编程范式和受欢迎程度。我们在Multipl-E：Codex和Incoder上评估了两个最先进的代码生成模型。我们发现，在几种语言上，法典匹配，甚至超过了其在Python上的性能。在多型E中表示的编程语言范围使我们能够探索语言频率和语言功能对模型性能的影响。最后，将代码生成基准分配给新编程语言的多重方法既可扩展又可扩展。我们描述了一种通用方法，可以轻松地增加对新基准和语言的支持。
translated by 谷歌翻译
基于姿势的动作识别主要是通过以整体化处理输入骨骼的方法来解决的，即姿势树中的关节是整体处理的。但是，这种方法忽略了这样一个事实，即行动类别通常以局部动力动力学为特征，这些动力动力学仅涉及涉及手（例如“竖起大拇指”）或腿部（例如``踢''）的零件联合组的小子集。尽管存在基于部分组的方法，但在全球姿势框架内并未考虑每个部分组，从而导致这种方法缺乏。此外，常规方法采用独立的方式流（例如关节，骨，关节速度，骨速度），并在这些流中多次训练网络，从而大大增加了训练参数的数量。为了解决这些问题，我们介绍了PSUMNET，这是一种新颖的方法，用于可扩展有效的基于姿势的动作识别。在表示级别，我们提出了一种基于全球框架的部分流方法，而不是基于常规模态流。在每个部分流中，从多种模式的相关数据被处理管道统一和消耗。在实验上，PSumnet在广泛使用的NTURGB+D 60/120数据集和密集的关节骨架数据集NTU 60-X/120-X上实现了最先进的性能。 PSUMNET高效，优于竞争方法，使用100％-400％的参数。 PSUMNET还概括为具有竞争性能的SHREC手势数据集。总体而言，PSUMNET的可伸缩性，性能和效率使其成为动作识别以及在Compute限制的嵌入式和边缘设备上部署的吸引人选择。可以在https://github.com/skelemoa/psumnet上访问代码和预算模型
translated by 谷歌翻译